使用现实世界数据的背景临床研究可能会受益于利用临床报告，这是一种特别丰富的非结构化培养基。为此，自然语言处理可以提取相关信息。使用预训练的语言模型基于转移学习的方法已在大多数NLP应用程序中实现了最先进的方法；但是，公开可用的模型缺乏接触专业语言，尤其是在医学领域。目标我们旨在评估将语言模型适应法国临床报告对下游医疗NLP任务的影响。方法我们利用从2017年8月至2021年7月在大巴黎大学医院（APHP）收集的2100万临床报告的语料库，以生产两种有关专业语言的卡梅蒙德体系结构：一项从Scratch中进行了再培训，另一个以Cammembert作为其初始化。我们使用两个法国注释的医学数据集将我们的语言模型与原始的Camembert网络进行比较，从而评估了Wilcoxon测试改进的统计意义。结果我们在临床报告上预估计的模型将APMED（APHP特定任务）的平均F1分数提高了3个百分点，达到91％，这是统计学上显着的改善。他们还达到了与Quaero上的原始Camembert相当的性能。这些结果适用于很少的预训练样品开始，从而对微调和划痕版本构成了这些结果。结论我们确认以前的文献表明，适应通才培训的语言模型（例如Camenbert on Specialty Corpora）改善了其下游临床NLP任务的性能。我们的结果表明，与微调相比，从头开始进行重新培训不会引起统计学上显着的性能增长。
translated by 谷歌翻译
在过去的十年中，图上的信号处理已成为一个非常活跃的研究领域。具体而言，使用从图形上构建的框架（例如图上的小波）在统计或深度学习中的应用数量显着增加。我们特别考虑通过数据驱动的小波紧密框架方法在图表上进行信号的情况。这种自适应方法基于使用Stein的无偏风险估计校准的阈值，该阈值适合于紧密框架表示。我们可以使用Chebyshev-Jackson多项式近似值将其扩展到大图，从而可以快速计算小波系数，而无需计算laplacian特征性组成。但是，紧密框架的过度本质将白噪声转化为相关的噪声。结果，转换噪声的协方差出现在确定的差异项中，因此需要计算和存储框架，从而导致大图的不切实际计算。为了估计这种协方差，我们基于零均值和单位方差随机变量的快速转换制定和分析蒙特卡洛策略。这种新的数据驱动的denoisisy方法可以在差异隐私中发现自然应用。从真实和模拟数据的大小变化图上进行了全面的性能分析。
translated by 谷歌翻译
神经文本到语音研究的最新进展是利用低级中间语音表示（例如MEL-光谱图）的两阶段管道主导的。但是，这种预定的特征从根本上受到限制，因为它们不允许通过学习隐藏表示形式来利用数据驱动方法的全部潜力。因此，已经提出了几种端到端方法。但是，这样的模型更难训练，并且需要大量具有转录的高质量录音。在这里，我们提出了WavThruvec-一种两阶段的架构，通过使用高维WAV2VEC 2.0嵌入作为中间语音表示，可以解决瓶颈。由于这些隐藏的激活提供了高级语言特征，因此它们对噪音更强大。这使我们能够利用质量较低的注释语音数据集来训练第一阶段模块。同时，由于WAV2VEC 2.0的嵌入已经进行了时间对齐，因此可以在大规模未转录的音频语料库上对第二阶段组件进行培训。这导致了对量表词的概括能力的提高，以及对看不见的说话者的更好概括。我们表明，所提出的模型不仅与最新神经模型的质量相匹配，而且还介绍了有用的属性，可以实现语音转换或零弹性合成的任务。
translated by 谷歌翻译
由于2017年介绍了变压器架构，因此许多尝试将自我关注范例带入计算机愿景领域。在本文中，我们提出了一种新颖的自我关注模块，可以很容易地集成在几乎每个卷积神经网络中，专门为计算机视觉设计，LHC：本地（多）头通道（自我关注）。 LHC是基于两个主要思想：首先，我们认为在电脑视觉中利用自我关注范式的最佳方式是渠道明智的应用而不是更探索的空间关注，并且卷积不会被引起的注意力替换经常性网络在NLP中;其次，局部方法有可能更好地克服卷积的局限性而不是全球关注。通过LHC-Net，我们设法在着名的FER2013数据集中实现了新的艺术状态，与先前的SOTA相比，在计算成本方面的复杂性和对“宿主”架构的复杂性显着和影响。
translated by 谷歌翻译